Gulab jamun pertama kali disiapkan di abad pertengahan Iran dan berasal dari fritter yang dibawa oleh penakluk Asia Tengah Turkik ke India.[1] Other theory claims that it was accidentally prepared by the Mughal emperor Shah Jahan's personal chef.[4]

Perkataan "Gulab" berasal dari perkataan-perkataan Parsi gol (bunga) dan āb (air), merujuk pada sirup wangi air mawar "Jamun" atau "jaman" adalah kata Hindi untuk Syzygium jambolanum, buah India dengan ukuran dan bentuk yang serupa, biasanya dikenal sebagai plum hitam.[5] Jamun is also defined as a fried delicacy in sugar syrup.[6] Pencuci mulut Arab luqmat al-qadi mirip dengan gulab jamun, walaupun menggunakan adunan yang berbeza. Menurut sejarawan kuliner Michael Krondl, kedua-dua luqmat al-qadi dan gulab jamun mungkin berasal dari hidangan Parsi, dengan sirup air mawar menjadi hubungan biasa antara keduanya.[7]